Theo truyền thuyết, vùng núi có hang động này được tìm thấy cách đây hơn hai nghìn năm và đã được đặt tên Hương Sơn - lấy tên một ngọn núi ở phía bắc Tuyết Sơn trong dãy Himalaya (Ấn Độ), nơi đức Phật đã ngồi tu khổ hạnh suốt 6 năm ròng rã.

Đời vua Lê Thánh Tông (1460-1497) đã có am thờ Phật dựng trên mảnh đất chùa Thiên Trù. Theo sách "Hương Sơn Thiên Trù thiên phú" thì chùa Hương được xây dựng từ đời Lê Huy Tông, niên hiệu Chính Hòa, (1680-1705). Bia tại chùa Thiên Trù có ghi rằng việc xây dựng nền đất, bậc đá và tôn tạo Kim Dung bảo điện của chùa được thực hiện vào năm 1686.

Các ngôi chùa chính được xây dựng với quy mô lớn vào khoảng cuối thế kỷ 17. Cho đến đầu thế kỷ 20, trong khu vực này đã có hơn 100 ngôi chùa.